Eén van de grootste grondbezitters in Moorsel was de abdij van Affligem. Op één van de abdijdomeinen liet Karel Van Croy, kardinaal-abt van Affligem, en later bisschop van Doornik, een waterkasteel bouwen.
Het kasteel van Moorsel, een groot vierzijdig waterslot, geflankeerd door vier hoektorens met talrijke schietgaten, werd in de zestiende eeuw opgetrokken in renaissancestijl.
In 1564 kwam het in handen van de graven van Hoorne, en in 1636 verkocht aan Don Cayro en tot baronie verheven. In die periode werd het kasteel grondig gerestaureerd doch de algemene indeling bleef behouden. In 1678 ging het eigendom naar de Alvelda die het in 1702 verkocht aan de Coxie welke er kunstwerken in aanbracht en grote herstellingen liet uitvoeren, die het huidige uitzicht bepaalden. Eind 18de eeuw kwam het in handen van de familie Van der Meer en later van de familie Van der Noot. Via familiebanden met de familie Van der Noot werd het kasteel geschonken aan de heer en mevrouw De Meulenaire-Dessin, die het een paar jaar bewoonden en dan verkochten aan Willy Michiels.
Het kasteel werd door Willy Michiels en zijn vrouw, Lisette De Rijck, vakkundig gerestaureerd en zo van teloorgang gered.